แท็ก

#local LLM

20 บทความ

Inco Splash — engine รันโมเดลบน Mac ที่ "สร้างรอบโมเดล" รองรับแค่ 2 ตัว แต่ decode Qwen3.8-27B ได้ 74 tok/s เร็วกว่า oMLX 2 เท่า และตอบรอบถัดไปของ agent เร็วกว่า 7 เท่า (Apache-2.0)
เครื่องมือนักพัฒนา

Inco Splash — engine รันโมเดลบน Mac ที่ "สร้างรอบโมเดล" รองรับแค่ 2 ตัว แต่ decode Qwen3.8-27B ได้ 74 tok/s เร็วกว่า oMLX 2 เท่า และตอบรอบถัดไปของ agent เร็วกว่า 7 เท่า (Apache-2.0)

Inco AI ปล่อย Splash engine รันโมเดลบน Mac แบบโอเพนซอร์ส (Apache-2.0) ที่เขียน Metal kernel, draft model DFlash 2 และแผนหน่วยความจำเฉพาะให้ Qwen3.8-27B กับ Qwen3.6-35B-A3B บน M5 Pro 48GB วัดได้เร็วกว่า oMLX 1.7–2 เท่าตอน decode และ 6.6–7.3 เท่าตอนใช้ cache ซ้ำ แต่ตัวเลขทั้งหมดวัดโดย Inco เอง และต้องใช้ M3 ขึ้นไปกับแรม 36GB+

· อ่าน 5 นาที
Hugging Face จ้างผู้สร้าง oMLX มาทำเต็มเวลา — เซิร์ฟเวอร์ LLM บน Mac ที่มีดาว 22k ยังเป็น Apache 2.0 และเป้าต่อไปคือทำให้โมเดลใน transformers รันบน MLX ได้เร็วขึ้น
เครื่องมือนักพัฒนา

Hugging Face จ้างผู้สร้าง oMLX มาทำเต็มเวลา — เซิร์ฟเวอร์ LLM บน Mac ที่มีดาว 22k ยังเป็น Apache 2.0 และเป้าต่อไปคือทำให้โมเดลใน transformers รันบน MLX ได้เร็วขึ้น

22 ก.ย. 2026 Hugging Face ประกาศรับ Jun Kim ผู้สร้างและดูแล oMLX เซิร์ฟเวอร์ LLM บน Apple Silicon ที่มี continuous batching กับ KV cache สองชั้น (RAM + SSD) คุมจาก menu bar ของ macOS เข้าทีม โปรเจกต์ยังเป็น Apache 2.0 และ Jun ยังเป็นผู้นำ โดย HF จะเน้นทำทางลัดจาก model definition ใน transformers ไปเป็น implementation อ้างอิงบน MLX ที่ทุก engine ใช้ได้

· อ่าน 4 นาที
IFM เปิด K2 Horizon หกโมเดล Apache-2.0 พร้อมเช็คพอยต์ระหว่างเทรน — แล้วประกาศเองว่าคะแนน Terminal-Bench 70.2 ของตัวเองมีการโกงเบนช์มาร์กปนอยู่ ของจริงคือ 66.9
โมเดลใหม่

IFM เปิด K2 Horizon หกโมเดล Apache-2.0 พร้อมเช็คพอยต์ระหว่างเทรน — แล้วประกาศเองว่าคะแนน Terminal-Bench 70.2 ของตัวเองมีการโกงเบนช์มาร์กปนอยู่ ของจริงคือ 66.9

3 ก.ย. 2026 IFM (MBZUAI) ปล่อย K2 Horizon หกขนาดตั้งแต่ 0.9B ถึง 375B-A23B ใต้ Apache-2.0 พร้อมเช็คพอยต์ระหว่างเทรนที่ดาวน์โหลดได้จริง — และในประกาศเดียวกันเปิดผลตรวจสอบตัวเองว่าคะแนน Terminal-Bench 2.1 ที่ 70.2% มีการโกงเบนช์มาร์กปนอยู่ 24 จาก 500 ทริกที่ผ่าน เหลือ 66.9%

· อ่าน 8 นาที
NVIDIA เปิด PAIR ให้เครื่องในบ้านรวมกันรันเอเจนต์ได้ ฟรีและ Apache-2.0 — แต่ README บอกชัดว่ามัน "ไม่รวม VRAM ไม่แบ่งโมเดล" คือได้ความขนาน ไม่ได้โมเดลใหญ่ขึ้น
เครื่องมือนักพัฒนา

NVIDIA เปิด PAIR ให้เครื่องในบ้านรวมกันรันเอเจนต์ได้ ฟรีและ Apache-2.0 — แต่ README บอกชัดว่ามัน "ไม่รวม VRAM ไม่แบ่งโมเดล" คือได้ความขนาน ไม่ได้โมเดลใหญ่ขึ้น

3 ก.ย. 2026 NVIDIA เปิด Personal AI Router (PAIR) ที่งาน IFA — ซอฟต์แวร์ฟรีใต้ Apache-2.0 ที่หาเครื่อง Windows/macOS/Linux ในวงแลนเดียวกันแล้วกระจายคำขอ inference ไปให้เครื่องที่ว่าง ผ่าน Ollama และ LM Studio โดยไม่ต้องแตะโค้ดเอเจนต์เดิม — แต่มันไม่รวม VRAM และไม่แบ่งโมเดลข้ามเครื่อง

· อ่าน 6 นาที
Ollama เลิกคิดเงินตามเวลา GPU เปลี่ยนเป็นต่อโทเคน — Pro $20 ได้เครดิต $60 แต่ราคาต่อโทเคนคือราคาป้ายของผู้ผลิตเป๊ะ แปลว่าส่วนลด off-peak และโปรฯ ของต้นทางไม่ถูกส่งต่อ
เครื่องมือนักพัฒนา

Ollama เลิกคิดเงินตามเวลา GPU เปลี่ยนเป็นต่อโทเคน — Pro $20 ได้เครดิต $60 แต่ราคาต่อโทเคนคือราคาป้ายของผู้ผลิตเป๊ะ แปลว่าส่วนลด off-peak และโปรฯ ของต้นทางไม่ถูกส่งต่อ

31 ส.ค. 2026 Ollama ยกเครื่องราคาแพลน Pro/Max/Team จากการคิดตามเวลา GPU มาเป็นต่อโทเคนพร้อมพูลเครดิตรายเดือน — Pro $20 ได้ $60, Max $100 ได้ $300, Team $500 ได้ $1,000 แต่เมื่อเทียบราคาต่อโทเคนกับเอกสารของ DeepSeek และ Z.ai โดยตรง พบว่าตรงกับราคาป้ายทุกช่อง จึงไม่มีทั้งบวกเพิ่มและส่วนลด off-peak หรือโปรโมชันของต้นทาง

· อ่าน 7 นาที
slotstream: รัน Qwen3.8-Flash-Next 125B (104 GB) บน Mac 48 GB ได้ 12 tok/s — สตรีม expert จาก SSD ทีละสล็อต ไบนารี Swift ตัวเดียว ไม่ต้องมี Python
เครื่องมือนักพัฒนา

slotstream: รัน Qwen3.8-Flash-Next 125B (104 GB) บน Mac 48 GB ได้ 12 tok/s — สตรีม expert จาก SSD ทีละสล็อต ไบนารี Swift ตัวเดียว ไม่ต้องมี Python

slotstream v0.2.0 (1 ก.ย. 2026) เป็นเอนจินอินเฟอเรนซ์ Swift ตัวเดียวที่รัน Qwen3.8-Flash-Next — MoE 125B ขนาด 104 GB บนดิสก์ — บน Mac 48 GB ได้ที่ราว 12 tok/s โดยสตรีม expert จาก SSD เข้าพูลแคชแบบสล็อตแทนการโหลดทั้งโมเดล และเปิด API แบบ Ollama/OpenAI ให้เครื่องมือเดิมต่อได้ทันที

· อ่าน 7 นาที
ทำไมโมเดลที่รันเองถึง "โง่กว่า" ที่เขาโฆษณา — การทดลองวัด logit ทีละตัวชี้ว่าแค่เปลี่ยน attention backend คำตอบก็เปลี่ยน
เครื่องมือนักพัฒนา

ทำไมโมเดลที่รันเองถึง "โง่กว่า" ที่เขาโฆษณา — การทดลองวัด logit ทีละตัวชี้ว่าแค่เปลี่ยน attention backend คำตอบก็เปลี่ยน

22 ส.ค. 2026 โพสต์ทดลองบน Level1Techs วัด logit เต็ม vocabulary ของ Qwen3.6-27B บน RTX PRO 6000 พบว่าแค่สลับ attention backend ใน vLLM โดยไม่แตะอย่างอื่น โทเคนที่โมเดลจะเลือกก็ต่างกันแล้ว ส่วน KV cache แบบ int4 กับ NVFP4 ทำ tool call พังจริงและสั่งคำสั่ง Cisco ผิด โดย NVFP4 แตะ ~50% token flip ที่ context 88k

· อ่าน 8 นาที
Ollama 0.33 เปิดทางให้ Claude Desktop คุยกับโมเดลในเครื่อง — สลับโมเดลจาก menu bar ผ่าน gateway ที่ 127.0.0.1:11435
เครื่องมือนักพัฒนา

Ollama 0.33 เปิดทางให้ Claude Desktop คุยกับโมเดลในเครื่อง — สลับโมเดลจาก menu bar ผ่าน gateway ที่ 127.0.0.1:11435

21 ส.ค. 2026 Ollama ปล่อย v0.33.0-rc2 ที่ใส่ gateway พูดภาษา Anthropic API ไว้ที่ 127.0.0.1:11435 ให้ Claude Desktop วิ่งเข้าโมเดลในเครื่องแทนคลาวด์ พร้อมหน้า Connect your apps และการเปิด-ปิดโมเดลจาก menu bar โดยยังเป็น release candidate และโฟกัสที่ macOS ก่อน

· อ่าน 5 นาที
llama.cpp เมิร์จ Kimi K3 เข้า main แล้ว — โมเดลเปิดตัวใหญ่ที่สุด 2.8T รันเองได้ แต่ค่าผ่านประตูคือแรม 466 GB
เครื่องมือนักพัฒนา

llama.cpp เมิร์จ Kimi K3 เข้า main แล้ว — โมเดลเปิดตัวใหญ่ที่สุด 2.8T รันเองได้ แต่ค่าผ่านประตูคือแรม 466 GB

PR #26185 ถูกเมิร์จเข้า llama.cpp main เมื่อ 15 ส.ค. 2026 และออกเป็นบิลด์ b10448 ทำให้ Kimi K3 ขนาด 2.8 ล้านล้านพารามิเตอร์รันบนเครื่องตัวเองได้โดยไม่ต้องใช้ fork — แต่ตัวเลขจริงคือแรม 466 GB ขั้นต่ำ และความเร็วราว 3 โทเค็น/วินาที

· อ่าน 6 นาที
Qwen3.8-27B ขึ้นจริงแล้ว — vision ครบ, Apache-2.0 แท้, Q4 แค่ 17 GB ลง GPU ตัวเดียวได้
โมเดลใหม่

Qwen3.8-27B ขึ้นจริงแล้ว — vision ครบ, Apache-2.0 แท้, Q4 แค่ 17 GB ลง GPU ตัวเดียวได้

Alibaba ปล่อยน้ำหนัก Qwen3.8-27B คืนวันที่ 14 ส.ค. 2026 — ต่างจากรุ่น 2.4T ที่เปิดแบบตัดฟีเจอร์ รุ่นนี้ได้ vision เต็ม คอนเท็กซ์ 262K ไลเซนส์ Apache-2.0 มาตรฐาน และ GGUF 4-bit ขนาด 17.1 GB ที่ลง GPU คอนซูเมอร์ตัวเดียวได้จริง

· อ่าน 5 นาที
มีคนรัน DeepSeek V4 Flash 304B บน MI300X ใบเดียวได้ 168 tok/s แล้วเปิด config ทั้งชุด — แต่ของจริงที่ควรอ่านคือบั๊ก 3 ตัวที่ทำให้โมเดล 'โง่ลงเงียบ ๆ' บน AMD
เครื่องมือนักพัฒนา

มีคนรัน DeepSeek V4 Flash 304B บน MI300X ใบเดียวได้ 168 tok/s แล้วเปิด config ทั้งชุด — แต่ของจริงที่ควรอ่านคือบั๊ก 3 ตัวที่ทำให้โมเดล 'โง่ลงเงียบ ๆ' บน AMD

repo ที่เปิดเมื่อ 4 ส.ค. (Apache 2.0) ปล่อย Docker Compose stack ที่รัน DeepSeek-V4-Flash-0731 ขนาด 304B บน AMD MI300X ใบเดียวได้ 168.6 tok/s ต่อ stream และ prefill 7.9–8.5K tok/s — พร้อมบันทึกบั๊กระดับ kernel สามตัวที่ไม่ทำให้ระบบ crash แต่ทำให้โมเดลเรียกชื่อ tool ผิดและลืม schema

· อ่าน 7 นาที
Swiftlet รัน Qwen 80B บน Mac ด้วย RAM 4.3GB และ 35B บน iPhone — เคล็ดลับคือไม่โหลด expert เข้า RAM เลย แต่ pread จาก SSD ทีละตัว
เครื่องมือนักพัฒนา

Swiftlet รัน Qwen 80B บน Mac ด้วย RAM 4.3GB และ 35B บน iPhone — เคล็ดลับคือไม่โหลด expert เข้า RAM เลย แต่ pread จาก SSD ทีละตัว

Swiftlet (repo สร้าง 3 ส.ค., Apache 2.0, 336 ดาว) เป็น runtime Swift + Metal ที่รัน Qwen3-Next-80B-A3B บน Mac ด้วย peak RAM แค่ 4.3GB และ Qwen3.6-35B บน iPhone ด้วย ~2.5GB — โดยเก็บเฉพาะแกน dense ไว้ใน RAM แล้ว stream น้ำหนัก MoE จาก SSD ตามที่ router เรียก

· อ่าน 7 นาที
Nanbeige4.2-3B: โมเดล agent 3B ที่ชนะ Qwen3.5-9B และ Gemma4-12B — SWE-bench Verified 63.6 บนพารามิเตอร์แค่เศษเสี้ยว
โมเดลใหม่

Nanbeige4.2-3B: โมเดล agent 3B ที่ชนะ Qwen3.5-9B และ Gemma4-12B — SWE-bench Verified 63.6 บนพารามิเตอร์แค่เศษเสี้ยว

Nanbeige LLM Lab ปล่อย Nanbeige4.2-3B ภายใต้ Apache-2.0 — โมเดล agent ขนาด 4B (non-embedding 3B) ที่ใช้สถาปัตยกรรม Looped Transformer วนซ้ำเลเยอร์ 2 รอบ ทำ SWE-bench Verified 63.6, GPQA-Diamond 87.4 และ MCP-Atlas 57.8 แซง Qwen3.5-9B กับ Gemma4-12B ที่ใหญ่กว่า 3–4 เท่า พร้อมคอนเท็กซ์ 256K และคู่มือรันบน Ollama/MLX ในตัว

· อ่าน 6 นาที
ลงมือทำ: เปิดเซิร์ฟเวอร์ vLLM บน Hugging Face Jobs ด้วยคำสั่งเดียว — เสิร์ฟโมเดลโอเพนเวตแบบ OpenAI-compatible จ่ายตามนาที
เครื่องมือนักพัฒนา

ลงมือทำ: เปิดเซิร์ฟเวอร์ vLLM บน Hugging Face Jobs ด้วยคำสั่งเดียว — เสิร์ฟโมเดลโอเพนเวตแบบ OpenAI-compatible จ่ายตามนาที

26 มิ.ย. 2026 Hugging Face ออกคู่มือใช้ `hf jobs run` ปั่นเซิร์ฟเวอร์ vLLM แบบ OpenAI-compatible สำหรับโมเดลโอเพนเวตตัวไหนก็ได้ในคำสั่งเดียว — เลือก GPU ด้วย --flavor, เปิดพอร์ตผ่าน public proxy ด้วย --expose, จ่ายตามนาที ไม่ต้องตั้งเซิร์ฟเวอร์เอง พร้อม SSH ดีบักและ tensor parallel สำหรับโมเดลใหญ่

· อ่าน 6 นาที
สัปดาห์โมเดล OCR โอเพนซอร์สมาแรง: PP-OCRv6 จิ๋ว 1.5M–34.5M รันบนเครื่องเล็กได้ + Baidu Unlimited OCR อ่านเอกสาร 40 หน้ารวดเดียว ส่วน Mistral OCR 4 เลือกปิดเวต
โมเดลใหม่

สัปดาห์โมเดล OCR โอเพนซอร์สมาแรง: PP-OCRv6 จิ๋ว 1.5M–34.5M รันบนเครื่องเล็กได้ + Baidu Unlimited OCR อ่านเอกสาร 40 หน้ารวดเดียว ส่วน Mistral OCR 4 เลือกปิดเวต

สัปดาห์นี้ (22–23 มิ.ย. 2026) เป็นสัปดาห์ของโมเดลอ่านเอกสาร: PaddlePaddle เปิด PP-OCRv6 ตระกูล OCR โอเพนเวตขนาดจิ๋ว 1.5M–34.5M พารามิเตอร์ที่รันบนเครื่องเล็ก/edge ได้, Baidu ปล่อย Unlimited OCR ที่อ่านเอกสารยาว 40+ หน้าในรอบเดียว (MIT) แซง DeepSeek-OCR ขณะที่ Mistral OCR 4 ทำคะแนนนำแต่เลือกปิดเวตให้ใช้ผ่าน API เท่านั้น

· อ่าน 6 นาที
DiffusionGemma: Google เปิดโมเดลภาษาแบบ "diffusion" โอเพนเวตตัวแรก — สร้างข้อความทีละบล็อก เร็วกว่าเดิม 4 เท่า รันบน RTX 4090 ได้
โมเดลใหม่

DiffusionGemma: Google เปิดโมเดลภาษาแบบ "diffusion" โอเพนเวตตัวแรก — สร้างข้อความทีละบล็อก เร็วกว่าเดิม 4 เท่า รันบน RTX 4090 ได้

Google DeepMind ปล่อย DiffusionGemma โมเดลภาษาแบบ text-diffusion โอเพนเวตตัวแรกที่ขึ้น mainstream — MoE 26B (active 3.8B) สร้างข้อความทีละบล็อก 256 โทเคนพร้อมกันแทนการไล่ทีละโทเคน เร็วกว่าโมเดล autoregressive ได้ถึง 4 เท่า ภายใต้ Apache 2.0 และรันบน RTX 4090/5090 24GB ได้เมื่อ quantize

· อ่าน 6 นาที
Unsloth v0.1.47-beta — รัน GLM-5.2 ใน Unsloth Studio ได้แล้ว พร้อมอัลกอริทึมยืด context ยาวขึ้น 3 เท่าสำหรับเครื่องตัวเอง
เครื่องมือนักพัฒนา

Unsloth v0.1.47-beta — รัน GLM-5.2 ใน Unsloth Studio ได้แล้ว พร้อมอัลกอริทึมยืด context ยาวขึ้น 3 เท่าสำหรับเครื่องตัวเอง

Unsloth ออกเวอร์ชัน v0.1.47-beta (18 มิ.ย. 2026) เพิ่มการรองรับโมเดลโอเพนเวต GLM-5.2 ใน Unsloth Studio รองรับทุกระดับการคิด พร้อมอัลกอริทึม auto-fit แบบ MTP ที่ยืดความยาว context ได้ราว 3 เท่าบนการ์ดตัวเดิม รวมถึงรองรับ GPU Blackwell RTX 50X/60X และโหมด --secure สำหรับเข้าถึงสตูดิโอผ่าน HTTPS เข้ารหัส

· อ่าน 5 นาที
Ollama v0.24 รองรับ Codex App ของ OpenAI — ขับเอเจนต์ Codex บนโมเดลโลคอลในเครื่องตัวเอง
เครื่องมือนักพัฒนา

Ollama v0.24 รองรับ Codex App ของ OpenAI — ขับเอเจนต์ Codex บนโมเดลโลคอลในเครื่องตัวเอง

Ollama ปล่อยเวอร์ชัน 0.24 เพิ่มการรองรับ Codex App เดสก์ท็อปของ OpenAI ให้นักพัฒนาขับเวิร์กโฟลว์เอเจนต์ Codex บนโมเดลโลคอลในเครื่องตัวเองได้ พร้อมปรับ MLX sampler บน Apple Silicon และแนะนำโมเดลโค้ดดิ้งโอเพน

· อ่าน 4 นาที
IBM ปล่อย Granite 4.1 ตระกูลโมเดลเล็ก Apache 2.0 — รุ่น 8B แซงรุ่น MoE 32B เดิม รันบน llama.cpp ได้
โมเดลใหม่

IBM ปล่อย Granite 4.1 ตระกูลโมเดลเล็ก Apache 2.0 — รุ่น 8B แซงรุ่น MoE 32B เดิม รันบน llama.cpp ได้

IBM ปล่อย Granite 4.1 ตระกูลโมเดล foundation ขนาด 3B/8B/30B ภายใต้ Apache 2.0 โดยรุ่น 8B instruct ทำคะแนนเทียบเท่าหรือแซงรุ่น MoE 32B ของ Granite 4.0 ด้วยสถาปัตยกรรมที่เรียบง่ายกว่า เน้นงานองค์กรและการรันโลคอลผ่าน llama.cpp/vLLM

· อ่าน 4 นาที
Qwen3.6-27B โมเดลโอเพนเวต dense ที่รันบน GPU ตัวเดียว — Alibaba เคลมแรงกว่ารุ่น MoE 397B บนงานโค้ดดิ้ง
โมเดลใหม่

Qwen3.6-27B โมเดลโอเพนเวต dense ที่รันบน GPU ตัวเดียว — Alibaba เคลมแรงกว่ารุ่น MoE 397B บนงานโค้ดดิ้ง

ทีม Qwen ของ Alibaba ปล่อย Qwen3.6 ภายใต้ Apache 2.0 โดยรุ่นเด่นคือ Qwen3.6-27B แบบ dense ที่รันบน GPU ผู้บริโภคตัวเดียวได้ แต่ผู้ผลิตรายงานว่าทำคะแนนงานโค้ดดิ้งแซงรุ่น MoE 397B ของตัวเอง พร้อม context 262K

· อ่าน 5 นาที